How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
LoRA的参数记忆定律：量化LLM微调中的精确记忆容量
🧭 参数记忆 · 幂律缩放与相变 ★ 深度解读
Zhejiang University · Alibaba Group
发现LoRA的记忆增益遵循幂律定律，并利用p>0.5的相变阈值设计MemFT优化精准回忆。
📌 工作参考价值（4 点）
- LoRA作为记忆插件：在电商/Agent场景中，需精确记住配置、规则或用户凭证时，可用LoRA模块存储，MemFT方法能在有限秩下显著提升准确率，避免关键token错误。
- 容量预估公式：幂律定律∆L=C·r^α·ℓ^{-β}可帮助在资源受限时快速估算所需的最小秩r，避免盲目分配参数。例如，给定序列长度ℓ，可计算达到目标损失所需的秩。
- 关注关键token：业务中生成式推荐或Agent输出常因个别token错误导致整句失效，借鉴p>0.5的相变思想，在微调时动态分配梯度给低概率token，而不过度优化已掌握的token，可提升整体生成质量。
- MemFT的训练策略：滑动窗口（MemFT-SW）聚焦首次错误位置的上下文，课程学习逐步增加困难样本，这些技巧可直接迁移到其他需要精确生成的任务（如广告文案、商品描述）的LoRA微调中。